Stevens chưa bao giờ lập gia đình, mặc dù đã có tin đồn về mối quan hệ 20 năm (1848–1868) với quản gia góa phụ của ông là Lydia Hamilton Smith (1813–1884).[168][169] Bà là người Mỹ gốc Phi sáng da; chồng quá cố của bà là Jacob và ít nhất một đứa con trai của họ có da sẫm màu hơn bà nhiều.[170]

Người ta không biết rõ mối quan hệ giữa Stevens và Smith có phải là tình cảm không. Báo chí theo Đảng Dân chủ, đặc biệt ở miền Nam, cho rằng hai người có tình ý, và khi ông đưa bà Smith đến Washington năm 1859 để quản lý nhà cửa, họ càng viết nhiều lời bóng gió hơn.[171] Trong một bức thư ngắn còn sót lại mà Stevens đã viết cho bà, ông đã gọi bà là Bà Lydia Smith.[172] Stevens cũng yêu cầu các người cháu của mình gọi bà bằng danh xưng Bà Smith; việc sử dụng danh xưng kính trọng đối với một phụ nữ tôi tớ người Mỹ gốc Phi là chuyện không có vào thời buổi đó. Trong các bức thư còn sót lại, họ đã dùng danh xưng đó một cách niềm nở, còn yêu cầu Stevens dẫn bà theo trong lần kế tiếp mà ông đến thăm.[173]

Để dẫn chứng rằng mối quan hệ giữa hai người có yếu tố tình dục, Brodie đã chỉ ra một lá thư năm 1868 mà trong đó Stevens đã so sánh mình với Richard M. Johnson, phó tổng thống dưới Martin Van Buren, người đã công khai chung sống với một loạt người tình là nô lệ Mỹ gốc Phi. Stevens lưu ý đến việc Johnson vẫn đắc cử dù người ta biết được điều này trong cuộc vận động tranh cử năm 1836, và tỏ vẻ chua xót vì chính mình lại không được cơ quan lập pháp bầu vào Thượng viện, hay được tiến cử vào Nội các.[174]

Khi Stevens qua đời, Smith là người đứng cạnh giường cùng với người bạn của ông là Simon Stevens, người cháu Thaddeus Stevens Jr., hai nữ tu người Mỹ gốc Phi, và vài người khác. Theo di chúc của Stevens, Smith có thể lựa chọn nhận trọn khoản tiền $5.000 hay số tiền trợ cấp $500 hàng năm; bà cũng được quyền lấy bất cứ đồ đạc nào trong nhà ông.[175] Với khoản tiền thừa kế, bà đã mua luôn căn nhà của Stevens, nơi bà đã sống nhiều năm. Là một người Công giáo, bà chọn được chôn cất trong một nghĩa trang Công giáo thay vì gần Stevens, dù bà cũng đã để lại tiền để bảo quản mộ của ông.[176]

Stevens đã nuôi dưỡng hai đứa cháu trai gọi ông bằng bác tên là Thaddeus (còn gọi là "Thaddeus Jr.") và Alanson Joshua Stevens, sau khi cha mẹ họ mất ở Vermont khi họ còn nhỏ. Alanson được gửi đến làm việc tại doanh nghiệp của Stevens là Lò rèn Caledonia, còn Thaddeus Jr. thì bị đuổi học khỏi Đại học Dartmouth, nhưng sau này ông tốt nghiệp và hành nghề luật cùng người bác.[177] Alanson trong Nội chiến thăng chức thành đại úy chỉ huy một đơn vị pháo binh Pennsylvania và tử trận tại Chickamauga.[178] Sau cái chết của Alanson, người bác đã dùng uy thế của mình để đưa Thaddeus Jr. vào vị trí cảnh sát trưởng quân sự tại Lancaster.[179]